4118云顶集团

新闻中心

人工智能清静| 入门篇：看法、内容与实践

宣布时间：2021-07-21

浏览次数：13778

分享：

1.配景

网络空间（Cyberspace）被称为陆、海、空、天之外的第五大主权空间，网络空间清静关乎国家清静和利益。随着云盘算、物联网、移动互联网、大数据、人工智能等手艺的安排应用，网络空间泛起组成结构重大化、�；すぞ叨⑾低吃诵兄悄芑忍氐悖庑┳涓缈占淝寰泊戳诵碌奶粽�。

近年来，以机械学习为焦点的人工智能手艺在盘算机视觉、语音识别、自然语言处置惩罚等方面取得了较好的应用效果，展现了机械学习在分类、展望及辅助决议方面的能力优势，也为解决网络空间清静问题带来了新的途径。现在，机械学习手艺在恶意样本检测、DGA域名检测、DNS隧道检测、恶意加密流量检测、威胁情报挖掘等领域都有一定应用效果。然而，人工智能手艺是把双刃剑。一方面可用于网络清静防护，提升防御者的能力，另一方面也可用于资助攻击者增强攻击能力。别的，基于人工智能手艺的种种系统，不但面临来自软件、硬件、网络等方面的古板清静威胁（如：软件误差使用），还面临来自机械学习算法、模子等人工智能手艺自身特有的清静威胁（如：对抗样本攻击）。

现阶段，人工智能清静已经成为工业界和学术界的热门话题，相关研究事情主要围绕人工智能自身清静和人工智能赋能清静两大偏向，相关理论和手艺还在一直生长，仍保存不少问题和挑战。

本文主要对人工智能清静的看法寄义和研究内容举行了先容，并说明晰4118云顶集团智能清静研究团队在人工智能清静方面的手艺研究、积累和实践。

2.人工智能清静看法

中国工程院方滨兴院士指出了新手艺和清静之间保存的两种关系：第一种是新手艺服务于清静即新手艺赋能清静，既可以服务于防御，也可以服务于攻击。第二种是新手艺引入新的清静问题即新手艺和清静是伴生关系。人工智能作为新手艺，即可以赋能网络清静，提升网络防护能力，也可以被恶意使用，增强攻击性和破损影响力。同时，人工智能手艺自身保存懦弱性，若是被攻击者使用，可能引发的新的清静危害[1]。

综合剖析，人工智能清静看法应该从人工智能的自身清静和人工智能的清静应用两方面去明确（见图1）。

人工智能的自身清静指人工智能应用的自身懦弱性带来的清静问题，详细分为两类：

古板清静：指人工智能应用系统中软硬件方面懦弱性带来的清静问题。例如，自动驾驶系统软件误差被使用而植入恶意代码，导致车辆无法正常运转。

特有清静：指人工智能应用系统中机械学习算法、模子懦弱性带来的清静问题。例如，自动驾驶系统的图像分类算法受到对抗样本攻击，导致路标识分类过失，进而造成车辆行驶决议失效。

人工智能的清静应用指以人工智能相关手艺为支持的清静应用，包括：

清静防御：指基于人工智能的清静检测、清静防护等应用。例如，入侵检测。

清静攻击：指基于人工智能的入侵隐藏、行为诱骗等应用。例如，社会工程攻击。

3.人工智能清静研究

3.1.人工智能的自身清静

3.1.1.清静危害剖析

国际标准化组织ISO将人工智能系统全生命周期归纳综合以下8个阶段：

初始：指将想法转化为有形系统的历程，主要包括：使命剖析、需求界说、危害管理等历程。

设计研发：设计研发阶段是指完成可安排人工智能系统建设的历程，主要包括：确定设计要领、界说系统框架、软件代码实现、危害管理等历程。

磨练验证：指检查人工智能系统是否凭证预期需求事情以及是否完全知足预定目的。

安排：指在目的情形中装置和设置人工智能系统的历程。

运行监控：人工智能系统处于运行和可使用状态，主要包括：运行监控、维护升级等历程。

一连验证：关于开展一连学习的人工智能系统举行一连磨练和验证。

重新评估：当初始目的无法抵达或者需要修改时，进入重新评估阶段。该阶段主要包括：设计界说、需求界说、危害管理等历程。

放弃：使用目的不复保存或者有更好解决要领替换的人工智能系统，主要包括：数据、算法模子以及系统整体的放弃销毁历程。

各阶段对应的清静危害如下（图2）[2].

3.1.2.清静框架设计

清静框架是构建清静系统的主要指导。围绕人工智能系统生命周期清静危害，中国信息通讯研究院设计一个较量完整人工智能清静框架[2]。

该框架聚焦于人工智能自身清静问题，即主要解决人工智能基础设施和人工智能设计研发面临的清静危害，以及因前两方面清静问题直接引发的人工智能应用行为决议失控清静危害。该框架包括：清静目的、清静能力、清静手艺和清静管理四个维度。其中，清静目的是包管人工智能应用清静的起点和基�。寰材芰κ鞘迪智寰材康牡挠杏冒埽寰彩忠蘸颓寰补芾硎乔寰材芰Φ闹С趾吞逑�。其中，手艺和管理维度详细内容如下 (图4)。

3.1.3.研究内容

人工智能清静框架（手艺和管理部分）总体上笼罩了人工智能清静手艺和管理系统规模，也是人工智能应用自身清静研究的主要规模。其中，营业合规性评估、误差挖掘修复等都属于古板清静研究规模。而对抗样本检测、算法鲁棒性增强、数据漫衍修正等则属于机械学习算法、数据、模子相关特有清静研究规模。

目今，人工智能机械学习相关的特有清静研究主要指对抗机械学（Adversarial Machine Learning,AML）即在对抗情形下的机械学习系统攻击和防御两个方面，这也是人工智能清静研究最焦点、最热门的研究话题。以下主要对这两方面内容举行先容[3]。

3.1.3.1.相关术语

对抗样本(Adversarial Example)：为使模子蜕化而对原始样本全心扰动的样本。

对抗训练(Adversarial Training)：使用原始训练集和对抗样本配合训练机械学习模子。

敌手(Adversary)：实验攻击者。

白盒攻击(White-box Attack)：攻击者拥有目的模子所有知识的攻击,包括：参数值、模子结构、训练要领、训练数据等。

黑盒攻击(Black-box Attack)：攻击者仅拥有模子有限知识的攻击（例如，只知道模子的反响效果）。

灰盒攻击（Gray-box Attack）：攻击者仅相识模子的部分信息的攻击（例如，只知道模子结构，但不知道参数）。

3.1.3.2.对抗攻击

人工智能应用的机械学习历程涉及训练数据、传驮市砝、目的模子、推测效果等�；すぞ撸セ髡呖梢云局て渌涤械奶跫攵哉鲅袄烫岢煊Φ墓セ鳎得魅缦拢�

投毒攻击：该攻击通过修改一定命目的训练数据使模子训练历程爆发过失的关系输出。该攻击爆发在训练阶段，攻击目的是训练数据集。攻击者具有获取、修改或创立训练数据集的能力，知道训练数据集的标签等配景知识。

对抗样本攻击：该攻击通过结构对抗样本，使模子推测历程爆发过失效果。攻击爆发在推理阶段，攻击目的是测试数据集。攻击者具有获取和修改测试样本的能力，知道标签等配景知识。

数据窃取攻击：该攻击通过存储和通讯机制的误差、盘问或反演手艺等多种手段，窃取机械学习隐私信息(如：训练数据、模子训练要领和训练参数)。该攻击大部分爆发在黑盒攻击中，攻击者仅具有窃取部分数据的能力。

隐私询问攻击：指攻击者在无法获取训练数据和模子数据情形下，仅通过视察测试数据输入模子后返回的效果即询问效果的方法实验隐私信息的盘算和推测。

主要攻击类型：成员推理攻击：指攻击者凭证询问效果判断出某个个体是否加入模子训练。训练数据提取攻击：指攻击者使用询问数据与已有知识推测训练数据隐私的攻击。模子提取攻击：指攻击者使用询问接口获得模子的分类与测试输入输出数据，从而重构一个与原模子相似的模子的攻击。

3.1.3.3.对抗防御

与上述攻击相对应的清静防御机制也有多种，主要包括：正则化、对抗训练、防御精馏、隐私�；さ龋得魅缦拢�

正则化：指通过对训练数据和模子规范化操作，降低模子的蜕化率。训练数据的正则化可以防御训练数据投毒攻击，提高模子泛化能力，主要包括数据集增强、数据集扩充等步伐;模子的正则化可以防御对抗样本攻击,主要使用正则化项对模子参数和训练方法举行规范化处置惩罚。

对抗训练：指使用对抗模子天生带有完全标注的对抗样本和正当样本混淆起来对原模子举行训练的历程。主要目的是学习对抗样本和准确标签的关系，提升模子鲁棒性。

防御精馏：指通过一个模子的输出训练另一个模子的机械学习算法，是在包管训练精度条件下压缩模子要领，可以增强模子面临对抗样本攻击的鲁棒性。

隐私�；せ疲菏萸匀」セ骱鸵窖使セ髦饕攵阅Ｗ雍褪莸囊�。加密、扰动等机制可以�；な莺湍Ｗ拥囊�。漫衍式机械学习、差分隐私等机制可以使模子以隐私�；さ姆椒ň傩醒�。

3.2.人工智能的清静应用

3.2.1.人工智能赋能清静的事情流程

如图所示，人工智能赋能清静应用的事情流程包括：清静问题笼统、数据收罗、数据预处置惩罚及清静特征提取、模子构建、模子验证以及模子效果评估6个阶段，各阶段不可自力保存，相互之间保存一定的关联关系。例如，数据收罗、数据预处置惩罚、模子构建都需要一直获取模子验证阶段的缘故原由剖析效果作为优化调解依据[4]。

清静问题笼统：即将网络空间清静问题映射为机械学习能够解决的问题种别。

数据收罗：指使用数据收罗手段（如Wireshark、Netflow、日志网络工具等），从系统层、网络层及应用层收罗数据。除自行收罗数据外，还可以使用果真数据集。

数据预处置惩罚及清静特征提�。菏菰ごχ贸头Ｖ饕付栽际菥傩邢村痛χ贸头＃饕ǎ憾允莨娣痘⒗肷⒒约胺瞧胶庑缘拇χ贸头５壤�。清静特征提取指从预处置惩罚后的数据中代表清静问题的实质特征的属性。特征提取操作除了接纳人工方法还可以基于深度学习的自动化方法。

模子构建：指凭证数据预处置惩罚后的数据集及目的问题类型，选择合适的学习算法，构建求解问题模子的历程，详细事情包括：算法选择和参数调优。

算法选择：在机械学习领域，凭证数据集是否有标记分为监视学习算法（常用于分类问题和回归问题）、无监视学习算法（常用于聚类问题）。常见监视学习算法：逻辑回归（Logistic Regression, LR）、人工神经网络（Artificial Neural Network, ANN）、支持向量机（Support Vector Machine, SVM）、决议树、随机森林、线性回归等。常见非监视学习算法：K-Means, K-近邻（k-Nearest Neighbor,KNN）、基于密度的DBSCAN（Density Based spatial Clustering of Applications with Noise）算法、条理聚类（Hierarchical Clustering）算法、图聚类算法等。别的，尚有深度学习、迁徙学习、深度增强学习算法以及天生对抗网络等算法。

参数调优：参数调优与训练目的、选择的算法相关，目今该历程还缺乏足够的理论指导，需要在重大的参数空间来寻找可接受的参数或者依据小我私家履历举行调解。

模子验证：指评估训练模子是否足够有用的历程。若是目今模子与训练目的偏离较大，则通太过析误差样本发明过失爆发的缘故原由，包括模子和特征是否准确、数据是否具有足够的代表性等。若是数据缺乏，则重新举行数据收罗；若是特征不显着，则重新举行特征提��；若是模子不佳，则选择其他学习算法或进一程序整参数。现在，k倍交织验证法是最常见的验证模子要领。

效果评估：指评估模子的学习效果以及泛化能力的历程。泛化能力的评估通常是对测试集举行效果评估。差别领域有差别指标的提法，常见的效果评估指标包括：准确率、召回率、准确率、F-score以及ROC-AUC曲线等。

3.2.2.清静防御

基于人工智能的清静防御研究基本涵盖了网络空间清静的各个层面，可以从系统清静、网络清静、应用清静三个层面举行归纳（图9）[4]。

系统清静类：系统清静应用涵盖了芯片、系统硬件及物理情形、系统软件三个层面。其中，芯片清静包括：劣质芯片检测、硬件木马检测及物理不可克隆函数(Physical Unclonable Function,PUF)攻击等；系统硬件及物理情形清静包括：装备身份认证、密码装备侧信道攻击及伪基站检测等；系统软件清静包括：误差剖析与挖掘、恶意代码剖析、用户身份认证及虚拟化清静等。

网络清静类：网络清静应用涵盖了网络基础设施清静以及网络清静检测两个方面。其中，网络基础设施清静包括：BGP的异常检测、恶意域名检测等；网络清静检测包括：僵尸网络检测、网络入侵检测以及恶意加密流量识别等。

应用清静类：应用清静涵盖应用软件清静和社交网络清静两个方面。其中，应用软件清静主要包括：垃圾邮件检测、恶意URL识别、恶意PDF检测等；社交网络清静主要包括：社交网络异常帐号检测、信用卡诓骗检测、取证剖析、网络舆情等。

3.2.3.清静攻击

基于人工智能的清静攻击笼罩了网络空间差别层面，包括：物理攻击、网络攻击、数据攻击、应用攻击等。典范的攻击场景包括：拒绝服务攻击、社会工程攻击、恶意代码对抗等。围绕网络空间清静典范场景的主要研究内容如下所示（图10）[5]。

网络资产自动探测识别：指追踪、掌握网络资产情形的历程手艺。例如，通过引入机械学习、深度学习等要领，举行操作系统指纹识别。

自动化社会工程学攻击：指使用机械学习、神经网络等要领实现垂纶式攻击、蠕虫撒播、垃圾邮件散发等攻击历程的自动化。例如，基于自然语言天生（NLG)的自动化网络垂纶攻击要领，可以使用深度学习剖析文本内容，识别目的感兴趣的主题，天生目的可能响应的文本内容，并以邮件、社交网站等作为恶意代码传输载体实验攻击。

智能恶意代码攻击：指针对恶意代码检测的对抗性攻击。例如，在恶意代码中插入一部分对抗性样本，可绕过清静产品的检测。

自动化误差挖掘与使用：指在无人工干预的基础上自动化挖掘软件内部缺陷并使用该缺陷使软件实现非预期功效。

4.人工智能清静实践

通过人工智能手艺赋能网络清静产品和服务，可以有用应对网络空间结构重大化、清静大数据化、攻击动态演进等转变带来的挑战，增强清静产品的防御能力，提高清静服务职员的生产率。为此，4118云顶集团承继“可信网络清静天下”的理念，从手艺研究和产品研发两个层面推进AI清静手艺落地和实践 (图11)。

手艺研究层面：公司建设了专业的研究团队，围绕人工智能手艺的清静应用及人工智能应用的自身清静，周全睁开手艺探索，现在已经在DNS隧道检测、DGA域名检测、恶意PDF检测、恶意样本检测、恶意样本同源剖析、清静实体识别、威胁情报挖掘、清静知识图谱、对抗样本天生等方面形成了手艺积累。

产品研发层面：公司在清静检测、清静网关、清静云服务、大数据剖析、数据清静、云清静、工控清静等产品方面周全实现了AI赋能，进一步提升了清静产品和市场竞争力。

5.后记

无论是人工智能自身清静照旧人工智能的清静应用，相关研究事情关于推动网络空间清静生长都具有主要的意义。本文是人工智能清静研究偏向的开篇先容，后续将为读者先容详细的手艺研究效果和应用情形，敬请关注。

如文中形貌有误，恳请指出，谢谢阅读。

6.参考资料

[1]方滨兴人工智能清静[M]北京电子工业出书社 2020.

[2]中国信息通讯研究院清静研究所人工智能清静框架（2020年)[R] 2020年12月.

[3]李欣姣等人机械学习清静攻击与防御机制研究希望和未来挑战[J]软件学报 2021 32(2):406-423.

[4]张蕾等人机械学习在网络空间清静研究中的应用[J]盘算机学报 2018 41(9):1943-1975.

[5]方滨兴等人人工智能赋能网络攻击的清静威胁及应对战略[J]中国工程科学 2021

版权声明

（转载请务必注明来由。版权所有，违者必究。）

要害词标签：: 4118云顶集团 人工智能清静 4118云顶集团智能清静研究团队

上一篇聚力数据清静赋能数字未来丨4118云顶集团主理2021中国网络清静年会——数据清静论坛

下一篇相融共创赋能未来｜2021融信天下合作伙伴大会·南宁站圆满落幕

最新运动

产品动态让智能体“一键上岗”~4118云顶集团「清静智能体一体机」抢鲜宣布！

2026-04-22

连忙审查

产品声誉 4118云顶集团防火墙一连26年位居海内市场榜首

2026-03-18

连忙审查

推荐新闻

天下首批、级别最高！4118云顶集团获AI服务清静能力评定“建设+检测”双证

审查详情

海内首家！4118云顶集团API清静智能体通过中国信通院数据清静智能体产品能力磨练

审查详情

4118云顶集团一连11届获CNCERT最高级支持单位，重点手艺领域入选最多！

审查详情

4118云顶集团荣获吴文俊人工智能科技前进一等奖

审查详情

4118云顶集团获河南省科学手艺前进奖一等奖

审查详情

推荐产品

解决计划

在线咨询

销售咨询>
手艺支持>
云服务支持>
售前支持>

在线留言

手艺支持>
售前支持>
培训营业>
清静服务>

客户服务热线

400-777-0777
7*24小时服务

联系邮箱

servicing@topsec.com.cn

扫码关注